iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 0 留言 27 瀏覽

鐵人賽 AI Security DAY 20

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 20 篇

技術 Day 20｜Agent 的記憶是功能，還是一顆定時炸彈？

做到 Day 19，Agent 已經能呼叫真實模型，也有輸入、檢索、工具和後端授權邊界。接下來最容易讓資料越積越多的功能，是記憶。記住「這台測試筆電是 Win...

justin_log ‧ 2026-10-04 ‧團隊nutc imac

0 Like 0 留言 86 瀏覽

鐵人賽 AI Security DAY 19

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 19 篇

技術 Day 19｜Guardrails 都說可以，為什麼後端還是應該拒絕 Agent？

前面幾天，我陸續替 Agent 加上 Input、Retrieval 和 Tool Output 檢查。做到這裡很容易產生一個錯覺：既然請求已經通過 Guard...

justin_log ‧ 2026-10-03 ‧團隊nutc imac

0 Like 0 留言 72 瀏覽

鐵人賽 AI Security DAY 18

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 18 篇

技術 Day 18｜一句「忽略前面指令」，真的能讓 AI Agent 改規則嗎？

「忽略前面指令」不會真的改寫 system prompt。麻煩的是，模型可能把它當成更值得服從的新要求，接著改變回答，甚至選到不該碰的工具。今天我把檢查位置移...

justin_log ‧ 2026-10-02 ‧團隊nutc imac

0 Like 0 留言 76 瀏覽

鐵人賽 AI Security DAY 17

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 17 篇

技術 Day 17｜工具只回了一句錯誤訊息，Agent 就被騙了

Day 16 檢查的是模型送往工具的參數。工具跑完之後，資料還會反方向流回 Agent：tool result 進入 context，模型看完再決定下一步。這...

justin_log ‧ 2026-10-01 ‧團隊nutc imac

1 Like 0 留言 60 瀏覽

鐵人賽 AI Security DAY 16

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 16 篇

技術 Day 16｜AI Agent 為什麼想把內部資料寄給陌生人？

Day 15 我把不需要的外寄工具移出 Helpdesk Agent。不過未來若真的有一條受限流程，要把 SOP 摘要交給支援信箱，事情不會只是把 share_...

justin_log ‧ 2026-09-30 ‧團隊nutc imac

1 Like 0 留言 102 瀏覽

鐵人賽 AI Security DAY 15

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 15 篇

技術 Day 15｜我給 Agent 20 個工具後，它反而更常做錯事

Day 14 處理的是哪些文件能進入 RAG。今天輪到另一份同樣會塞進模型 context 的東西：工具定義。我先故意列出 20 個 Helpdesk 候選工...

justin_log ‧ 2026-09-29 ‧團隊nutc imac

0 Like 0 留言 79 瀏覽

鐵人賽 AI Security DAY 14

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 14 篇

技術 Day 14｜我以為 RAG 只是搜尋，後來才發現它也是權限系統

Day 13 我用 Promptfoo 反覆測惡意 SOP，但還有一種文件根本不需要藏指令：它只要屬於別的使用者、部門或 tenant，被當前 Agent 搜出...

justin_log ‧ 2026-09-28 ‧團隊nutc imac

0 Like 1 留言 132 瀏覽

鐵人賽 AI Security DAY 13

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 13 篇

技術 Day 13｜我把惡意 SOP 丟進 Promptfoo，Agent 到底會不會照做？

Day 11 我做了一份惡意 SOP，Day 12 又整理了 context。不過只擋住一句「忽略先前規則」，還不能代表 retrieval boundary...

justin_log ‧ 2026-09-27 ‧團隊nutc imac

0 Like 0 留言 81 瀏覽

鐵人賽 AI Security DAY 12

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 12 篇

技術 Day 12｜塞進更多 Context 後，Agent 為什麼反而更笨了？

Day 10 我先把 context 的來源分開，Day 11 再把惡意 SOP 擋在模型外面。做到這裡，我原本很自然地想：既然不可信內容已經過濾，那多放一點歷...

justin_log ‧ 2026-09-26 ‧團隊nutc imac

0 Like 0 留言 55 瀏覽

鐵人賽 AI Security DAY 11

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 11 篇

技術 Day 11｜RAG 最危險的不是幻覺，而是它把資料當成命令

Day 11｜RAG 最危險的不是幻覺，而是它把資料當成命令 Day 10 我把 system prompt、使用者訊息、RAG 文件和 tool result...

justin_log ‧ 2026-09-25 ‧團隊nutc imac

0 Like 0 留言 114 瀏覽

鐵人賽 AI Security DAY 10

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 10 篇

技術 Day 10｜我把使用者訊息和文件混在一起後，Agent 開始分不清誰才是老闆

在 Day 6 拆 Agent loop 時，一直卡在同一件事：模型下一輪看到的東西，會同時包含 system prompt、使用者訊息、SOP 查詢結果和工具...

justin_log ‧ 2026-09-24 ‧團隊nutc imac

0 Like 0 留言 87 瀏覽

鐵人賽 AI Security DAY 9

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 9 篇

技術 Day 9｜我只改了一句 Prompt，Agent 卻多叫了四次工具

前幾天我把 Promptfoo 放進這個專案時，主要是在看結果：有沒有建立 mock 工單、越權工具是否不存在、SOP 壞掉時有沒有假裝成功。這些測試還不夠。...

justin_log ‧ 2026-09-23 ‧團隊nutc imac

0 Like 0 留言 94 瀏覽

鐵人賽 AI Security DAY 8

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 8 篇

技術 Day 8｜重試不是保險：Agent 如何把一個錯誤變成事故

Day 4 做完 timeout、退避重試和降級後，我本來以為這件事差不多收工了：SOP 查不到，最多重試幾次，然後不要開工單。但那只限制了「同一個請求」。如...

justin_log ‧ 2026-09-22 ‧團隊nutc imac

0 Like 0 留言 85 瀏覽

鐵人賽 AI Security DAY 7

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 7 篇

技術 Day 7｜Agent 不肯停下來：它能在幾分鐘內燒掉多少 Token？

Day 6 的 recursion_limit 解決了一件事：graph 不該無限繞圈。但我很快發現，step 數根本不能回答「這次到底花了多少」。一次 ste...

justin_log ‧ 2026-09-21 ‧團隊nutc imac

0 Like 0 留言 57 瀏覽

鐵人賽 AI Security DAY 6

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 6 篇

技術 Day 6｜AI Agent 不是在思考，它其實是在不斷試錯

我一開始把 Agent 想得太像一個會「理解整個任務」的助手。實際把 Helpdesk Agent 拆開後，感覺比較像一個不停改變狀態的程式：模型看見目前資料，...

justin_log ‧ 2026-09-20 ‧團隊nutc imac

0 Like 0 留言 82 瀏覽

鐵人賽 AI Security DAY 5

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 5 篇

技術 Day 5｜我還沒讓 Agent 上線，先用 Promptfoo 打它一拳

前四天，我把這個練習專案拆得很保守：它只能查 mock SOP，然後在記憶體裡建立 mock 工單。但程式能動，不代表我知道它會不會在改一行 prompt、補...

justin_log ‧ 2026-09-19 ‧團隊nutc imac

1 Like 1 留言 113 瀏覽

鐵人賽 AI Security DAY 4

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 4 篇

技術 Day 4｜工具壞掉後，Agent 沒停下來，反而把問題越搞越大

工具失敗時，Agent 最危險的反應往往不是回覆錯誤，而是把同一個請求又送了一次。 Day 3 我只讓 Agent 查 mock SOP、建立 mock 工...

justin_log ‧ 2026-09-18 ‧團隊nutc imac

1 Like 2 留言 100 瀏覽

鐵人賽 AI Security DAY 3

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 3 篇

技術 Day 3｜給 Agent 一把萬用 API Key 後，我才發現它什麼都能做

同一把 API Key 同時能查資料、開工單、重設帳號、寄通知時，Agent 的工具清單就不再只是功能清單。我沒有公司的 API Key。這個專案用的是...

justin_log ‧ 2026-09-17 ‧團隊nutc imac

3 Like 1 留言 90 瀏覽

鐵人賽 AI Security DAY 2

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 2 篇

技術 Day 2｜30 分鐘做出第一個會開工單的 AI Agent：它已經能替你動手了

今天我先做一個故意很單純的版本：它會開工單，但還不安全。昨天我先把「Agent 有工具以後會出什麼事」講清楚。今天我不急著加 Guardrails，反而先...

justin_log ‧ 2026-09-16 ‧團隊nutc imac

0 Like 0 留言 126 瀏覽

鐵人賽 AI Security DAY 28

AI 黑魔法：30 天拆解 AI 系統攻擊面（重啟）系列第 28 篇

技術 AI 黑魔法（28）：隱私、治理與法規，攻擊之外你該知道的事

上一篇看的是怎麼規劃一次 AI 安全檢測，這篇換到攻擊之外的隱私、治理跟法規。 2023 年 3 月三星開放半導體部門的工程師用 ChatGPT，不到三個星期，...

Vivian ‧ 2026-09-16

0 Like 0 留言 104 瀏覽

鐵人賽 AI Security DAY 27

AI 黑魔法：30 天拆解 AI 系統攻擊面（重啟）系列第 27 篇

技術 AI 黑魔法（27）：怎麼規劃一次 AI 安全檢測？從 Attack Surface 到 Checklist

上一篇看的是 Agent 的權限、記憶誰能寫、MCP Server 跟模型檔這四道防線，這篇把它們收成一份可以照著走的流程。如果有人請你去看一個 AI 系統安不...

Vivian ‧ 2026-09-15

0 Like 0 留言 125 瀏覽

鐵人賽 AI Security DAY 26

AI 黑魔法：30 天拆解 AI 系統攻擊面（重啟）系列第 26 篇

技術 AI 黑魔法（26）：縱深防禦（二），Agent、MCP 跟模型檔的防線

上一篇看的是 Prompt Injection 防護做在哪幾層，這篇我們來看 OWASP 的第 8 到 10 條建議，Agent 手上能同時碰哪些東西、它的記憶...

Vivian ‧ 2026-09-14

0 Like 0 留言 196 瀏覽

鐵人賽 AI Security DAY 25

AI 黑魔法：30 天拆解 AI 系統攻擊面（重啟）系列第 25 篇

技術 AI 黑魔法（25）：縱深防禦（一），Prompt Injection 防護要做在哪幾層？

上一篇看的是 garak 怎麼自動對模型跑一輪弱掃，這篇換到防守，看 Prompt Injection 防護要做在哪幾層。 AI 黑魔法（07）講過，對模型來...

Vivian ‧ 2026-09-13

0 Like 0 留言 155 瀏覽

鐵人賽 AI Security DAY 24

AI 黑魔法：30 天拆解 AI 系統攻擊面（重啟）系列第 24 篇

技術 AI 黑魔法（24）：讓工具替你掃，garak 自動化紅隊

上一篇看的是六種只靠送查詢就打得了的攻擊，這篇換工具上場，把攻擊交給 garak 來執行。 garak 是 Red Team 工具，設計目的是用來測試模型安全性...

Vivian ‧ 2026-09-12

0 Like 0 留言 146 瀏覽

鐵人賽 AI Security DAY 23

AI 黑魔法：30 天拆解 AI 系統攻擊面（重啟）系列第 23 篇

技術 AI 黑魔法（23）：AI 會說溜嘴，也會看走眼

上一篇看的是攻擊者怎麼把模型教壞，從資料投毒一路做到只有特定 Trigger 才發作的後門，這篇換成一個從頭到尾都乾淨的模型，攻擊者不碰權重，只是不斷送查詢進去...

Vivian ‧ 2026-09-11

0 Like 0 留言 146 瀏覽

鐵人賽 AI Security DAY 22

AI 黑魔法：30 天拆解 AI 系統攻擊面（重啟）系列第 22 篇

技術 AI 黑魔法（22）：從源頭下毒到藏後門，資料投毒與後門模型

上一篇看的是模型、Tokenizer 與設定檔在交付途中有沒有被換掉，這篇看資料本身，有毒的資料是怎麼被模型學進去，最後是怎麼成長為只有特定 Trigger 才...

Vivian ‧ 2026-09-10

0 Like 0 留言 153 瀏覽

鐵人賽 AI Security

LLM 應用資安：從 Prompt Injection 到 AI Red Teaming 系列第 31 篇

技術 LLM 應用資安怎麼學：從威脅地圖、攻擊靶場到紅隊工具

查核資訊：本文於 2026-08-25 重新確認各項資源的官方頁面。OWASP 清單、靶場內容、模型版本與工具介面都可能變動；開始練習前，仍應回到官方文件確...

Eric ‧ 2026-09-09

0 Like 0 留言 120 瀏覽

鐵人賽 AI Security DAY 21

AI 黑魔法：30 天拆解 AI 系統攻擊面（重啟）系列第 21 篇

技術 AI 黑魔法（21）：下載模型就中招？惡意模型檔與供應鏈攻擊

上一篇從模型服務出發，看的是模型呼叫用了誰的權限、花了誰的預算、碰到誰的資料，都要查得到，這篇看下載回來的模型檔案本身乾不乾淨。從 Model Hub 或供應...

Vivian ‧ 2026-09-09

3 Like 0 留言 97 瀏覽

鐵人賽 AI Security DAY 1

從 LLM、Agent 到 Guardrails：30 天打造可控、安全、可驗證的 AI Agent 系列第 1 篇

技術 Day 1｜我只是讓 AI 幫忙開工單，最後它差點變成公司管理員

這個系列會從一個能開 IT 工單的 Agent 出發，慢慢補上它真正需要的安全邊界。我還是學生，沒有真的在公司處理 Helpdesk，也沒有 Jira、內...

justin_log ‧ 2026-09-15 ‧團隊nutc imac

0 Like 0 留言 163 瀏覽

鐵人賽 AI Security DAY 30

LLM 應用資安：從 Prompt Injection 到 AI Red Teaming 系列第 30 篇

技術總結：LLM 應用安全檢查清單與心法

查核資訊：本文於 2026-08-25 查核 NIST AI Risk Management Framework、NIST AI 600-1、NIST SP...

Eric ‧ 2026-09-08